De vroegere burcht van Kolmont werd waarschijnlijk gebouwd op een deels kunstmatig aangelegde heuvel in de 12de eeuw door Gerard, graaf van Loon, ter verdediging van de grens met het Prinsbisdom Luik.
In 1489 kwam het tot een belegering en konden de troepen van de prins-bisschop de burcht van Kolmont innemen. Na de inname beval de prins-bisschop de ontmanteling van de burcht. De materialen werden gebruikt voor de herstellingen van de omwalling van Tongeren. In 1761 gaf prins-bisschop Johan Theodoor van Beieren het gebied in erfbezit aan Arnold Christiaan de Bellefroid.
In het midden van de 19de eeuw werd tegenover de ruïne van de oude burcht het huidige kasteel gebouwd in neo-barokke stijl door de familie Bellefroid-Van der Meer. Via erfenis werd het domein in handen van magistraat Armand Claessen. Deze liet in 1920 twee identieke zijvleugels optrekken en kreeg het kasteel zijn huidig aanzicht. Nadien werd het bewoond door ridder Erard de Schaetzen, oud-burgemeester van Tongeren.